Content-Aware Texture Synthesis

Existing example-based texture synthesis techniques are inherently unadapted to textures consisting of a set of randomly disposed, individually discernible shapes. Local methods striving at pixel-based discontinuity reduction hardly preserve input’s long-range structures. Alternatively, research built upon the supposed respect by the input’s features of given placement rules are too restrictive to be straightly extended to stochastic arrangements. In this paper we present a new method for analyzing and resynthesizing such arrangements. Our objective is to acquire their constitutive shapes to enable structure-aware resynthesis. What characterizes such shapes is their repetition throughout the input. We exploit this trait by recording recurrences of visually similar neighborhoods which are later extended to regions. We bring those together to compute the input’s coverage map and extract final repetitive shapes. By directly manipulating shapes, resynthesis can be enriched with high-level information unavailable in pixel-based approaches. We gather statistics on their placement and appearance variations and use those to produce new images. To achieve this, we draw inspiration and improve techniques for capturing element arrangements, techniques once limited to vectorized NPR primitives. Key-words: texture analysis, texture synthesis, local descriptors ∗ e-mail: [email protected] † e-mail: [email protected] in ria -0 03 94 26 2, v er si on 1 11 J un 2 00 9 Analyse et synthese de distributions d’objets Résumé : Les techniques de synthèse de textures par l’exemple ne se prêtent guère à la génération de textures définies comme arrangements quelconques de formes individuellement distinguables. Par exemple, les méthodes non-paramétriques s’efforçant à localement prévenir les discontinuités entre pixels voisins ne parviennent pas à préserver de telles formes si leur taille en pixels est trop importante. Également, les techniques supposant le respect de règles de placement prédéfinies par les structures de la texture d’entrée s’avèrent trop restrictives pour être directement applicables aux arrangements stochastiques de formes. Cet article expose une nouvelle méthode d’analyse et de re-synthèse de telles textures. Nous visons ici à l’extraction explicite des formes constitutives de l’échantillon d’entrée et à leur utilisation pour assurer la génération de nouvelles textures préservant au mieux les structures de celui-ci. Ce qui caractérise ces formes est leur répétition non-triviale au sein de l’image d’entrée. Nous exploitons cette observation et consignons l’ensemble des co-occurrences de voisinages visuellement proches que nous agglomérons ensuite en régions continues de l’image. Nous partitionnons ensuite ces régions en classes de motifs et calculons la segmentation de l’exemple selon ces classes pour permettre l’extraction finale des formes répétitives. Via la manipulation directe des motifs ainsi calculés, la re-synthèse est alors enrichie d’informations de haut niveau, impossible à extraire par une analyse pixellique immédiate. Nous établissons alors des statistiques quant au placement relatif des motifs ainsi que leurs légères variations d’apparence afin de produire de nouvelles images. Nous pouvons ainsi étendre les techniques récentes de synthèse d’arrangements d’éléments vectoriels à des entrées rasterisées. Mots-clés : Analyse d’image, synthese de texture, descripteurs locaux in ria -0 03 94 26 2, v er si on 1 11 J un 2 00 9 Content-Aware Texture Synthesis 3 Figure 1: We propose a method for example-based synthesis of images consisting of shape arrangements such as the one on the left. We first analyze the input to get a higher-level representation than its raster counterpart. Once repetitive basic shapes have been detected and their relative placement captured, we can synthesize visually similar shape arrangements. Since we infer relevant shapes thanks to their multiple duplicates throughout the image, we do not require them to be entirely visible at once. This is the case of the green leaf for instance.